据@karpathy透露，通过引入名为SpellingBee的合成任务，nanochat d32语言模型成功学会了统计像“strawberry”这种单词中“r”字母的出现次数（来源：github.com/karpathy/nanochat/discussions/164）。此过程结合了多样化用户查询、理想助手响应的生成，以及监督微调（SFT）和强化学习（RL）训练，有效赋能了小型AI模型。特别强调了小模型在提示多样性、分词处理和推理步骤分解等方面的细节优化。该实践展示了轻量级LLM如何快速扩展技能，为定制AI任务和行业应用带来新机遇（来源：@karpathy Twitter）。

根据Andrej Karpathy的消息，NanoChat d32版本（32层深度、训练成本1000美元）在约33小时内完成训练，在AI评测指标上取得显著提升。模型的CORE分数达到0.31，超过了GPT-2的0.26，GSM8K准确率也从约8%提升至20%。在预训练、监督微调和强化学习阶段，各项指标均有明显上升（来源：Karpathy推特、NanoChat GitHub）。Karpathy提醒用户，微型大语言模型的能力受限，应合理预期。该模型和训练脚本已开源，AI初创公司和研究人员可借此探索低预算LLM训练方案，在小众应用场景下实现快速原型开发和低成本部署，为AI行业带来新的商业机会。